Benchmark Radar: A Living Database and Search Engine for AI Benchmarks and Evaluation
基准雷达：AI 基准与评估的活数据库和搜索引擎
🧭 AI 评测基准检索与发现系统
Earth-Space-AI · Tacite AI · Hangzhou Dianzi University · Carnegie Mellon University · Xi’an Jiaotong University
构建持续更新的 AI 评测基准数据库与搜索引擎，支持基准发现、证据溯源和分数历史检索
📌 工作参考价值（4 点）
- 借鉴其“living catalog + daily feeds”模式，建立内部评测基准库，自动追踪业界新 benchmark 和 SOTA 分数，避免手动搜集，尤其适合跟踪 LLM-based 推荐/Agent 工具评测。
- 在内部模型对比时，不只盯 leaderboard 总分；参照其保留 source identity 和 score history 的做法，溯源每个分数的模型版本、prompt、数据集版本，避免评估不可比或作弊。
- 用 Pareto frontier 和 adoption 趋势做选型：在采用新评测基准前，查看其被引用/使用频率与分数分布，避开 saturated 或低采纳的 benchmark，减少无效评估。
- 如果搭建 Agent 评测体系，可参考其多源发现（paper、repo、dataset、release）的设计，将评测集、代码和论文绑定管理，提高可复现性。